#Risk Control

6 篇

Conservative Meta-Agent Search: Architecture Adaptation under Non-Stationarity

保守元代理搜索：非平稳环境下的架构自适应

🧭 元代理架构搜索与在线自适应

CMAS通过保守提升、切换成本与风险约束降低在线架构搜索的回归与成本，在96个流上优于最强自适应基线

📌 工作参考价值（4 点）

在线架构变更采用“影子回放”评估：用共同随机数重放历史流量，对新旧架构计算配对分数，能显著减少评估噪声，适合在电商推荐、广告投放等延迟反馈场景中做 A/B 测试前的离线消融。
提升门槛加入方差惩罚和切换成本：只有显著优于现任方案才允许上线，避免频繁替换导致系统不稳定。可直接借鉴到电商 Agent 工作流的组件升级策略。
模拟金丝雀阶段与自动回滚：小流量试运行并预设指标阈值，失败自动回滚，降低线上风险。适合部署生成式推荐或广告文案生成等高风险模块。
当新增组件不贡献价值时收缩到最小有效团队，定期剪枝，可减少推理成本与维护复杂度。

Agent | 2026-10-22 | cs.AI | score 6/10

Long Text to Predictive Features: LLM-Guided Blockwise Feature Engineering via Executable Program Search

LLM引导的分块特征工程：将长文本转化为可执行预测特征程序

🧭 LLM 驱动的自动化特征工程 · 程序合成

City University of Hong Kong · Qfin Holdings, Inc. · Tianjin University · Carnegie Mellon University

LLM-BlockFE离线把长文本构造成可执行特征程序，在线零LLM调用，用带回滚和并行轨迹的分块搜索提升特征质量

📌 工作参考价值（4 点）

在线零 LLM 调用：在推荐/搜索/广告的高 QPS 场景，把 LLM 仅用于离线生成特征代码块，线上只执行提取逻辑，避免大模型推理时延与成本。适合处理商品评论、用户反馈、搜索日志等长文本，转化为可复用结构化特征。
可解释且可维护的特征工程：生成的是可执行代码块而非黑盒向量，便于沉淀到特征平台、版本管理和审计，满足风控、广告审核等强合规场景。
块级回滚与多轨迹搜索：用 depth-calibrated credit allocation 识别低质量代码块并回滚，减少贪心搜索局部最优；交错推进多条搜索轨迹共享方向描述，降低冗余探索，适合在特征探索阶段降低 LLM 调用次数与成本。
业务迁移方向：可用于电商退货/纠纷预测、广告点击转化中的文本信号提取，例如从商品标题和评论中自动构造用户意图、质量风险、价格敏感度等特征，替代部分人工特征工程。

LLM | 2026-10-08 | cs.LG | score 7/10

Automated Feature Engineering LLM Program Synthesis Blockwise Search Risk Control

Certified Domain Consistency for Multi-Domain Retrieval: Label-Free Per-Domain Contamination Control with Conformal Risk Guarantees

多域检索中无标签逐域污染控制及共形风险保证

🧭 共形风险控制 · 多域检索污染保证

Electric Power Research Institute (EPRI)

提出 C3R，一种即插即用的共形控制层，无标签情况下逐域认证污染预算，在最难域上保证污染降低。

📌 工作参考价值（4 点）

无标签域污染控制：无需查询时域标注，仅用推断的域后验即可逐域设定污染预算，适合电商多源检索（商品、评价、攻略）中低成本抑制错误域文档。
可认证的风险保证：提供有限样本下逐域污染上界的严格证书，且在最差域上保证污染降低而非仅边际平均，适合对权威性/安全性要求高的金融、法规等场景。
软降级优于硬级联：软降级策略在相同认证污染水平下比传统校准级联保留更多召回，可直接作为检索后安全层，不破坏原有排序。
堆栈冻结与重排器无关：C3R 作为外挂控制层，不改动现有检索和重排模型，迁移成本极低，适合现有搜索推荐系统快速落地。

RAG | 2026-07-14 | cs.IR | score 6/10

Conformal Prediction Multi-Domain Retrieval Contamination Control Risk Control RAG

Online Safety Monitoring for LLMs

LLM在线安全监控的简单阈值方法

🧭 LLM在线安全监控与风险控制

UvA Bosch-Delta Lab, University of Amsterdam · University of Wisconsin Madison · Johns Hopkins University

简单的阈值监控结合风险控制校准，在线安全检测性能媲美复杂序贯检验方法

📌 工作参考价值（4 点）

在Agent或搜索推荐系统的在线生成链路中，可外接一个安全验证器（如毒性分类器），对其输出分数做阈值判决，实现实时拦截有害内容。
阈值通过风险控制方法（如设置可接受误报率上限）在线校准，无需依赖标注数据，适合动态生产环境。
简单阈值方案工程成本低且效果好，与复杂的序贯假设检验监控器性能相当，可优先尝试。
监控粒度为流式 token 级别时，可将验证器部署在低延迟推理管道，及时中止不安全生成，避免后续风险。

Eval | 2026-07-02 | cs.LG | score 6/10

Online Monitoring LLM Safety Risk Control Threshold Calibration Verifier Signal

Statistically Valid Hyperparameter Selection: From Tuning to Guarantees

统计有效的超参数选择：从调参到保证

🧭 统计学习与假设检验

Northeastern University London

提出 learn-then-test 框架，将超参数选择转化为多重假设检验，提供有限样本风险控制的形式化保证

📌 工作参考价值（4 点）

可将推荐系统中 LLM 推理参数（温度、top-p）、检索环节 top-k、广告出价阈值等超参数选择问题，套入 LTT 框架，在有限验证集上获得可证明的风险上界
当业务要求安全或可靠性约束（如推荐多样性最低容忍度、广告点击率下界），用假设检验方法筛选出满足要求的候选超参组合，替代纯经验调优
引入 e-values 替代 p-values 作统计量，支持随时停止与在线校验，适合在线 A/B 测试中持续监控超参风险
将模型升级、数据分布变化后的重新调参视为再检验，利用错误发现率控制（如 Benjamini-Hochberg 流程）避免选择出的超参存在过检验风险

Other | 2026-06-24 | stat.ML | score 6/10

Hyperparameter Tuning LTT Multiple Hypothesis Testing Risk Control Statistical Guarantees E-values

Conformal Certification of Reasoning Trace Prefixes

推理轨迹前缀的保形认证

🧭 推理可靠性 · 保形风险控制 ★ 深度解读

Rice University

提出 CROP 方法，为推理步骤序列提供前缀污染风险的有限样本边际控制，保留有效中间推理以提升下游修复

📌 工作参考价值（4 点）

在多步 Agent 决策中，可用 CROP 对已执行的步骤序列进行风险认证，返回风险可控的“安全前缀”，将剩余步骤交给人工审查或更高精度的修复模块，避免全盘回滚。
生成式推荐（GenRec）在生成物品序列（如购物车推荐）时，可以用类似前缀认证思路，将生成过程按步骤拆分，用 process reward model 标注风险，仅保留低风险前缀再继续生成，提高推荐列表的整体可信度。
工程实现上，CROP 是 verify-agnostic 的轻量校准层，只需将任意步骤级风险评分（PRM、logits、heuristics）输入即可获得保形保证，可直接插入现有的 LLM 推理管线，无需修改模型。
实验揭示了“步骤 AUROC 高 ≠ 前缀实用性好”这一重要现象，可迁移至电商搜索排序中：离线排序指标（如 AUC）可能无法反映线上截断位置的效用，评估应直接面向最终截断策略校准。

Reasoning | 2026-05-28 | stat.ML | score 8/10

Conformal Prediction Reasoning Traces Prefix Certification Risk Control Process Supervision LLMs